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@ Verfahren zur Steuerung technischer Einrichtungen auf Grundlage von Bilddaten 

@ Zur Erhohung der Verkehrssicherheit werden zuneh- 

mend Systeme in Betracht gezogen, welche die Sicht ei- 

nes Fahrzeugfuhrers verbessern. Fur ein solches System 

ist es angezeigt, die zu prasentierende Szene moglichst 

optimal auszuteuchten. Urn dieszu erreichen wird vorge- 

schlagen, eine aufzunehmende Szene mittels Beleuch- 

tungsmitteln zu bestrahlen und die Bilddaten des Bildauf- 

nahmesystems mit mindestens einer Infrarot-Kamera zu 

gewinnen. Dadurch wird weitgehende Unabhangigkeit 

von Tageslichtschwankungen und Wetterlagen erreicht. 

Auch bietet die Moglichkeit eine Strafienszene mittels ak- 

tiver Infra rot- Bel euchtung auch in der Situation, dass 

Fahrzeuge entgegenkommen, noch sinnvoil auszuleuch- 

ten, da nicht abgeblendet werden muss. Alternativ zum 

Einsatz im Kraftfahrzeug eignet sich die Erfindung auch 
■ fur den Einsatz als stationares System zur Wetterbeob- 
0 achtung. 
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Beschreibung 

[0001] Die Erfindung betrifft ein Verfahren und eine Vor- 
richtung gemaB den Oberbegriffen der Patenanspriiche 1 
und 12. 5 
[0002] Zur Erhohung der Verkehrssicherheit werden zu- 
nehmend Systeme in Betracht gezogen, welche die Sicht ei- 
nes Fahrzeugfuhrers verbessem. Beispielsweise ist es denk- 
bar, wie in DE 40 07 646 beschrieben, bei Nacht das Fahr- 
zeugumfeld mittels einer Infrarot-Beleuchtung zu bestrah- 10 
len um sodann die Bilddaten einer irifrarot-empfindlichen 
Kamera dem Fahrzeuglenker zu prasentieren. Fiir ein sei- 
ches System ist es angezeigt die zu prasentierende Szene 
moglichst optimal auszuleuchten. 

[0003] Zur optimalen Ausleuchtung des Fahrbahnbereichs 15 
mittels der Frontscheinwerfer eines Fahrzeugs, ist aus 
DE 197 13 884 ein Verfahren zur Regulierung von Leucht- 
weite und Leuchtrichtung bekannt. Hierbei sammeln Senso- 
ren Informationen tiber das Fahrzeug und sein Umfeld und 
passen aufgrund dieser Informationen die aktuelle Einstel- 20 
lung der Scheinwerfer an. Hierbei wird aus den Sensorinfor- 
mauonen der Verlauf der Fahrbahn pradiziert und Kurven, 
Steigungen oder Gefalle erkannt. 

[0004] Zur generellen Ermitdung der Lichtverhaltnisse in 
Front eines Fahrzeuges ist aus WO 99/ 17954 ein Verfahren 25 
bekannt, bei welchem eine Sensoreinheit den Bereich in 
Fahrtrichtung vor dem Fahrzeug abtastet. Auf diese Weise 
kann sodann auf sowohl auf die allgemeinen Lichtverhalt- 
nisse als auch auf die Lichtverhaltnisse in Fahrtrichtung ge- 
schlossen werden. In Abhangigkeit da von laBt sich auf di- 30 
rekte Weise eine automatische helligkeits-abhangige Be- 
leuchtungssteuerung (Ein/Aus), zum Beispiel im Bereich 
von Tunneleinfahrten, realisieren. 

[0005] Zur Bestimmung einer optimalen Beleuchtungsin- 
tensitat eines Kraftfahrzeugs, insbesondere zur Verminde- 35 
rung der Eigenblendung, wird in DE 40 40 175 vorgeschla- 
gen, vom Kraftfahrzeug aus einen Testlichtstrahl auszusen- 
den und in Abhangigkeit der Intensitat des reflektierten 
Lichtsignals die Beleuchtung einzustellen. Um auch Er- 
kenntnis uber die vorherrschenden Sichtverhaltnisse, bei- 40 
spielsweise in Nebelbanken, zu gewinnen wird vorgeschla- 
gen infrarotes Licht fur den Testlichtstrahl zu verwenden. 
[0006] Ein weiteres System zur Steuerung eines Fahr- 
zeugscheinwerfers und zur Erkennung von Wetterbedingun- 
gen ist aus WO 97/35743 bekannt. Durch die Analyse der 45 
Verteilung des von einer Leuchlquelle ausgehenden Lichts 
wird dabei auf den Zustand der Atmosphare vor dem Fahr- 
zeug geschlossen. Im speziellen soli Niederschlag von Re- 
gen und Schnee auf der Windschutzscheibe durch Bestim- 
mung der Beleuchtungsdifferenz benachbarter Pixel erkannt 50 
wird. 

[0007] Die aus dem Stand der Technik bekannten Systeme 
zur Beleuchtungssteuerung auf Grundlage von Bilddaten ar- 
beiten mit Kamerasystemen, deren Empfindlichkeit im Be- 
reich des sichtbaren Lichts liegen. Bei Nacht und schlechter 55 
Sicht, also in den Situationen, in welchem eine Beleuch- 
tungssteuerung am sinnvollsten eingesetzt werden kann, 
sind diese Kamerasysteme beziiglich der Ausleuchtung der 
StraBenszene vor dem Fahrzeug allein auf das Licht der 
Frontscheinwerfer angewiesen. 60 
[0008] Aufgabe der Erfindung ist es ein Verfahren und 
eine Vorrichtung gemaB den Oberbegriffen der Patentan- 
spriiche 1 und 12 zu finden, welche eine verbesserte Bild- 
auswertung und somit verbesserte Steuerung von techni- 
schen Einrichtungen ermoglicht 65 
[0009] Die Aufgabe wird dutch ein Verfahren und eine 
Vorrichtung mit den Merkmalen der Patentanspriiche 1 und 
12 gelost. Vorteilhafte Ausgestaltungen und Weiterbildun- 
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gen der Erfindung sind durch die untergeordneten Patentan- 
spriiche beschrieben. 

[0010] In besonders vorteilhafter Weise werden bei dem 
erfindungsgemaBen Verfahren zur Steuerung technischer 
Einrichtungen in einem Kraftfahrzeug auf Grundlage der 
Auswertung von Bilddaten eines Bildaufnahmesystems, 
welches eine aufzunehmende Szene mittels Beleuchtungs- 
mitteln bestrahlt, die Bilddaten des Bildaufnahmesystems 
mit mindestens einer Infrarot-Kamera gewonnen. Dies hat 
gegeniiber den aus dem Stand der Technik bekannten Ver- 
fahren zum einen den Vorteil der weitgehenden Unabhan- 
gigkeit von Tageslichtschwankungen (Tag, Dammerung und 
Nacht) und Wetterlagen (Sonnenschein, Regen, Schneefall) 
und bietet zum einen die Moglichkeit eine StraBenszene 
mittels aktiver Infrarot-Beleuchtung auch in der Situation, 
dass Fahrzeuge entgegenkommen noch sinnvoll auszu- 
leuchten, da nicht abgeblendet werden muss. Ein diesbeziig- 
liches System ist in der nachveroffentlichten Schrift 
DE 100 02 069 beschrieben. Durch diese weitgehende Un- 
abhangigkeit der Bilddaten von auBeren Einfliissen und die 
Moglichkeit einer gleichmaBigen Ausleuchtung ist es in ge- 
winnbringender Weise moglich die Komplexitat des zur 
Auswertung der Bilddaten verwendeten Algorithmen zu re- 
duzieren und somit Rechenaufwand und Rechengeschwin- 
digkeit zu optimieren. 

[0011] Nachfolgend soil die Erfindung anhand der Be- 
schreibung vorteilhafter Ausgestaltungen und Weiterbildun- 
gen detailliert beschrieben werden. 

[0012] Fig. 1 zeigt eine typisches Bild einer Verkehrs- 
szene wie es von dem erfindungsgemaBen Bilderfassungssy- 
stem aufgenommen wird. 

[0013] Durch die fur Verkehrsteilnehmer nicht sichtbare 
und somit nicht blendende Wirkung einer infraroten Be- 
leuchtung des Fahrzeugumfelds ist es in vorteilhafter Weise 
moglich, zur Gewinnung der zu analysierenden Bilddaten 
die Beleuchtungsmittel des Bildaufnahmesystems mit maxi- 
maler Intensitat zu betreiben. Dieses Vorgehen weist neben 
dem Vorteil der maximalen Ausleuchtung auch den Vorzug 
auf, daB die Beleuchtungsstarke fur die Messung fix defi- 
niert und somit die Informationen der einzelnen Bilder di- 
rekt miteinander ins Verhaltnis gesetzt werden kann. 
[0014] Es ist gleichwohl auch denkbar, in erfinderischer 
Weise das Bildaufnahmesystem sowohl als Steuersystem fur 
technische Einrichtungen als auch zur Sichtverbesserung fur 
den Fahrzeugfuhrer heranzuziehen, wobei die Bilddaten 
dem Fahrzeugfuhrer mittels einer Anzeigeeinheit dargestellt 
werden. In diesem Fall ist die Beleuchtungsintensitat im all- 
gemeinen in ihrer Intensitat variabel zu gestalten, da fur eine 
kontrastreiche, ubersichtliche Bilddarstellung die Beleuch- 
tungsintensitat der jeweils vorherrschenden Umgebungssi- 
tuation angepaBt werden muB. Beispielsweise sollte bei Ne- 
bel die Beleuchtung nach unten auf die StraBe gerichtet wer- 
den, damit aufgrund der starken Ruckstreuung keine Eigen- 
blendung des Bildaufnahmesystems entsteht. Es bietet sich 
sodann an, die Bildfolge, welche dem Fahrzeugfuhrer pra- 
sentiert wird in regelmaBigen Abstanden kurzzeitig zu un- 
terbrechen, und wahrend dieser Z^ilabschnitte bei voller 
Ausleuchtung der Verkehrsszene eine MeBaufnahme mit 
dem Kamerasystem zur Steuerung der technischen Einrich- 
tungen im Kraftfahrzeug durchzufuhren. Werden die Zeitab- 
schnitte kurz genug gewahlt, dann sind die Unterbrechun- 
gen der Bildprasentation fur den Fahrzeugfuhrer nicht wahr- 
nehmbar. 

[0015] In Bezug auf die aktive Beleuchtung der Szenen ist 
es denkbar den Infrarot-Anteil der Strahlung eines Beleuch- 
tungsmittels, welches sichtbaren Licht ausstrahlt zu verwen- 
den, wofur sich vor allem der Frontscheinwerfer des Kraft- 
fahrzeugs eignet. In gewinnbringender Weise ist es aber 
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auch denkbar, cin zusatzliches Infrarot-LeuchLmittel, unab- 
hangig von den iiblichen Leuchtmitteln des Kraftfahrzeugs 
zu verwenden. Hierdurch wird es moglich die unterschiedli- 
chen Leuchtmittel unabhangig voneinander zu steuern und 
unabhangig voneinander in ihrer Intensitat zu variieren. 5 
[0016] Besonders gewinnbringend laBt sich die Erfindung 
ausges taken, wenn es moglich ist das Infrarot-Leuchtmittel 
in seiner Ausrichtung unabhangig zu steuern, so dass bei 
Bedarf auch Objekte auf Grundlage der Auswertung der 
Bilddaten des Bilderfassungssystems, auch auBerhalb der 10 
eigentlichen Fahrspur ausgeleuchtet werden konnen. Dies 
kann unter anderem besonders vorteilhaft zur Erkennung 
von FuBgangern oder von sich aus NebenstraBen irn Kreu- 
zungsbereich annahemden Fahrzeugen ausgenutzt werden. 
[0017] In erfinderischer Weise ist es in einer moglichen 15 
AusgestaLtung der Erfindung denkbar bei der Analyse der 
Bilddaten die darin enthaltene Entfemungsinformation mit 
auszuwerten. Dabei wird die Tatsache ausgenutzt, dafi sich 
im allgemeinen die einzelnen Zeilen eines Kamerabildes di- 
rekt in Bezug auf die darin abgebildeten Bildelemente set- 20 
zen lassen. In den der Erfindung zu Grunde liegenden An* 
wendungen (Erfassung von StraBenszenen) bilden sich nor- 
rnalerweise die am weitesten entfernten Objekten in den 
oberen Bereichen/Zeilen des Bild ab, wahrend sich die 
nachstliegenden Objekte am unteren Rand des Bildes fin- 25 
den. Es ist nun bekannt, daB die Intensitat der von der akti- 
ven Beleuchtung riickgestreuten Intensitat der Lichtsignale 
mit der Entfernung abnimmt. In vorteilhafter Weise lassen 
sich nun uber die Art und Weise der Abnahme der riickge- 
streuten Lichtintensitaten Aussagen uber die aktuellen 30 
Sichtverhaltnisse machen. Dabei wird zu beobachten sein, 
dass sich der Abfall der Lichtintensitat mit abnehmender 
Sicht zunehmend beschleunigt. 

[0018] In einer anderen vorteiihaften Ausgestaltung der 
Erfindung wird uber die Entropie der riickgestreuten Licht- 35 
signale der aktiven Beleuchtung auf die Sichtverhaltnisse 
geschlossen. Hierzu konnen beispielsweise die Bilddaten 
gewinnbringend in den Frequenzbereich transforrniert wer- 
den. Das hieraus resultierende Frequenzspektrum kann so- 
dann analysiert werden, um auf die im Fahrzeugumfeld 40 
herrschenden Sichtverhaltnisse zu schlieBen. Dabei kann 
auf die Tatsache zuruckgegriffen werden, dass sich propor- 
tional zur Verschlechterung der Sichtverhaltnisse der Kon- 
trast der Bilddaten abnimmt. Dieser Ruckgang des Kon- 
trasts driickt sich aber direkt im Ruckgang der hoherfre- 45 
quenten Anteile des Frequenzspektrums der Bilddaten aus; 
schlechte Sicht wirktsich also wie eine Tiefpassfilterung auf 
die Bilddaten aus. Somit laBt sich aus den Frequenzanteilen 
direkt auf die Sichtverhaltnisse im Fahrzeugumfeld schlie- 
Ben. Es ist nun moglich je nach Anwendungsfall gewinn- 50 
bringend die Frequenz-Transformation nur zeilenweise 
durchzufuhren oder aber auch zweidimensionale Transfor- 
mationsverfahren auf die gesamten Bilddaten oder Aus- 
schnitte davon anzuwenden. 

[0019] Unabhangig vom verwendeten Verfahren zur Ana- 55 
lyse der Bilddaten ist es in vorteilhafter Weise denkbar im 
Vorfeld einer Anwendung des erfindungsgemaBen Verfah- 
rens unterschiedlichste Umfeldszenarien (beispielsweise 
Nebel, Regen oder Schnee, jeweils mit unterschiedlicher 
Starke) zu vermes sen und die daraus resultierenden Parame- 60 
ter entweder in einer Datenbank (Look-Up-Table) abzule- 
gen oder damit einen geeigneten Klassifikator (beispiels- 
weise: Neuronal es Netz) zu trainieren. Basierend darauf 
konnen sodann die Ergebnisse der Bildanalyse gewertet und 
beispielsweise daraus die vorherrschenden Sichtverhaltnisse 65 
hergeleitet/klassifiziert werden. 

[0020] Durch die Moglichkeit der Erkennung unterschied- 
licher Wettersituationen ist es sehr wohl moglich mittels des 
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erfindungsgemaBen Verfahrens die Scheibenwischer eines 
Kraftfahrzeugs automatisch anzusteuem. 
[0021] In vorteilhafter Weise werden durch das erfin- 
dungsgemaBe Verfahren die Frontscheinwerfer des Kraft- 
fahrzeugs und/oder die aktiven Beleuchtungselemente des 
Bildaufnahmesystems selbst gesteuert. Dabei ist es gewinn- 
bringend beispielsweise die Frontscheinwerfer oder die ak- 
tiven Beleuchtungselemente bei Regen oder schlechten 
Sichtverhaltnissen naher zum Fahrzeug hin auszurichten, 
wodurch mehr Lichtleistung zum Fahrzeug zuruckreflektiert 
wird. In erfinderischer Weise ist es denkbar das erfindungs- 
gemaBe Verfahren so zu gestalten, dass die Leuchtintensitat 
der Frontscheinwerfer oder der Beleuchtungsmittel des 
Bildaufnahmesystems abhangig von den Sichtverhaltnissen 
gesteuert werden kann. Hierdurch kann die Eigenblendung 
des Systems, vor allem bei Nebel, significant verringert 
werden. 

[0022] Da die infrarote Beleuchtung des Bildaufnahmesy- 
stems von entgegenkommenden Fahrzeuglenkern nicht 
wahrgenommen wird, braucht nur das sichtbar ausgestrahlte 
Licht des eigenen Fahrzeugs bei Gegenverkehr abgeblendet 
werden, wahrend die Bildanalyse und deren Steuerung von 
technischen Einrichtungen des Fahrzeugs ungehindert fort- 
gefuhrt werden kann. 

[0023] Eine vorteilhafte Vorrichtung zur Durchfuhrung 
des erfindungsgemaBen Verfahrens sollte innerhalb ihres 
Bildaufnahmesystems mindestens uber eine Infrarot-Ka- 
mera verfugen. Die zusatzliche Integration und Verwendung 
einer im sichtbaren Bereich arbeitenden Kamera ist sehr 
wohl denkbar und tragt zu einer robusteren, verbesserten 
Systemfunktionalitat bei. 

[0024] In Betracht der Fahigkeit unterschiedliche Wetter- 
bedingungen durch die Analyse der durch das Bilderfas- 
sungssystem gewonnen Bilddaten zu erkennen, kann die Er- 
findung in vorteilhafter Weise auch als stationares System 
zur Wetterbeobachtung (Nebeldichte, Regenmenge, Sicht- 
weite, Schneefall) benutzt werden. Hierbei ist es denkbar, 
dass die zu steuernden technischen Einrichtungen beispiels- 
weise Wamvorrichtungen entlang von StraBen (Wechsel- 
schilder) sind, oder daB es sich bei der technischen Einrich- 
tung um eine Kommunikau'onsanlage handelt, welche die 
Wetterinformation weiterubermittelt. 

Patentanspriiche 

1. Verfahren zur Steuerung technischer Einrichtungen 
in einem Kraftfahrzeug auf Grundlage der Auswertung 
von Bilddaten eines Bildaufnahmesystems, welches 
eine aufzunehmende Szene mittels Beleuchtungsmittel 
bestrahlt, dadurch gekennzeichnet, dass die Bildda- 
ten des Bildaufnahmesystems mindestens mittels einer 
Infrarot-Kamera gewonnen werden. 

2. Verfahren nach Anspruch 1, dadurch gekennzeich- 
net, dass die Szene zur Gewinnung der auszuwertenden 
Bilddaten mit maximaler Intensitat der Beleuchtungs- 
mittel des Bildaufnahmesystems ausgaleuchtet wird. 

3. Verfahren nach einem der Anspriiche 1 bis 2, da- 
durch gekennzeichnet, dass zur aktiven Beleuchtung 
der Szene der Infrarot-Anteil der Strahlung eines Be- 
leuchtungsmittels, welches sichtbaren Licht ausstrahlt 
verwendet wird. 

4. Verfahren nach einem der Anspriiche 1 bis 2, da- 
durch gekennzeichnet, dass zur aktiven Beleuchtung 
der Szene ein Infrarot-Leuchtmittel, unabhangig von 
den iiblichen Leuchtmitteln des Kraftfahrzeugs ver- 
wendet wird. 

5. Verfahren nach Anspruch 4, dadurch gekennzeich- 
net, dass die Leuchtmittel unabhangig voneinander ge- 



DE 101 04 734 A 1 

5 

steuert werden. 

6. Verfahren nach einem der Anspriiche 1 bis 4, da- 
durch gekennzeichnet, dass bei der Analyse der Bild- 
daten die darin enthaltene Entfernungsinformation mit 
ausgewertet wird. 5 

7. Verfahren nach einem der Anspriiche 1 bis 6, da- 
durch gekennzeichnet, dass bei der Auswertung der 
Bilddaten aus der Entropie dieser Daten auf die Sicht- 
verhaltnisse vor dem Fahrzeug geschlossen wird. 

8. Verfahren nach einem Anspruch 1 bis 7, dadurch 10 
gekennzeichnet, dass die Frontscheinwerfer des Kraft- 
fahrzeugs unaVoder die aktiven Beleuchtungselemente 
des Bildaufnahmesystems gesteuert werden. 

9. Verfahren nach Anspruch 8, dadurch gekennzeich- 
net, dass die Frontscheinwerfer und/oder die aktiven 15 
Beleuchtungselemente bei Regen oder schlechten 
Sichtverhaltnissen naher zum Fahrzeug hin ausgerich- 

tet werden. 

10. Verfahren nach einem der Anspriiche 8 bis 9, da- 
durch gekennzeichnet, dass die Leuchtintensitat der 20 
Frontscheinwerfer und/oder der Beleuchtungsmittel 
des Bildaufnahmesystems abhangig von den Sichtver- 
haltnissen gesteuert wird. 

11. Verfahren nach einem Anspruch 1 bis 10, dadurch 
gekennzeichnet, dass die Scheibenwischer gesteuert 25 
werden. 

12. Vorrichtung zur Steuerung technischer Einrichtun- 
gen in einem Kraftfahrzeug auf Grundlage der Auswer- 
tung von Bilddaten eines Bildaufnahmesystems, wel- 
ches eine aufzunehmende Szene mittels Beleuchtungs- 30 
mittel bestrahit, dadurch gekennzeichnet, dass das 
Bildaufnahmesystam als Bildaufnehmer mindestens 
uber eine Infrarot-Kamera verfugt. 

13. Vorrichtung nach Anspruch 12, dadurch gekenn- 
zeichnet, dass das Bildaufnahmesystem uber unabhan- 35 
gig steuerbare Beleuchtungsmittel zur Ausstrahlung 
sichtbaren Lichts und Beleuchtungsmittel zur Aus- 
strahlung infraroten Lichts verfugt. 

14. Vorrichtung nach einem der Anspriiche 12 bis 13, 
dass die Beleuchtungsmittel des Bildaufnahmesystems 40 
die Frontscheinwerfer des Kraftfahrzeugs mit umfaBt. 

15. Vorrichtung nach einem der Anspriiche 12 bis 14, 
dadurch gekennzeichnet, dass das Bildaufnahmesy- 
stem eine Kamera umfafit, welche Bilder sichtbaren 
Bereich erfafit. 45 

16. Verwendung des Verfahrens nach Anspruch 1, als 
stationares System zur Wetterbeobachtung. 
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